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Beschreibung 

Die Erfindung bezieht sich auf ein Verf ahren ztir Aufbereitung einer Eingangsgr56e eines neuronalen Netzes, 
d h. zur neuronalen Modellierung von dynamischen Prozessen» von denen insbesondere unv llsttodige oder 

5 schlechte MeBreihen vorliegen. 

Neuronale Netze finden in die vielflltigsten technischen Gebiete Eingang. Oberall dort, w es gilt» aus 
komplexen technischen Zusammenhangen und aus unzureichenden loformationen Entscheidungea abzuleiten, 
erw isen sich neuronale Netze ais besonders geeignet Zur Bildung iner oder mehrerer AusgangsgrdSen 
werden dem neuronalen Netz beispielsweise eine oder mehrere EingangsgrOBen zugefuhrt Hierzu wird ein 

10 solches Netz zundchst fur den speziellen Einsatzfall trainiert Neuronale Netze erweisen sich fOr viele Einsatzf §1- 
le als besonders geeignet^ da sie universelle Approximatoren sind. 

Ein haufig auftretendes Problem im Zusanunenhang mit dem Einsatz von neuronalen Netzen besteht aller- 
dings darin* daB hlufig die Eingangsdaten zum Training, oder beim Betrieb des Netzes nicht vollst&ndig sind 
Dieser Sachverhalt und auch die Tatsadie. daB die MeBwerte fOr den Aufbau einer Zeitreihe» welche dem 

15 neuronalen Netz zugefOhrt wird haufig ungenau oder verrauscht sind bewirken, daB tdlweise sdilecht Lemer- 
gebnisse der Netze erzielt werden, 

Aus dem Stand der Technik sind verschiedene Aufbereitungsmdglichkeiten fur EingangsgrdBen bekannt In 
der Patentschrift DD 2 66 661 Al ist eine Schaitungsanordnimg zur Approximation von MeBwertfoIgen be- 
schrieben, bei der das Problem der Datenverarbeitung von verrauschten MeBwerten in Echtzeit dadurch gelOst 

20 wird daB eine Approximation Qber die Sch^tzung der ZustandsgroBen erfolgt Unbekannte GrdBen werden 
dabei nach dem Prinzip der maximum-likelihood ermittelt Aus der europiischen Patentanmeldung 
EP 05 04 457 Al Ist ein Verfahren zur Ermitdung der Wahrscheinlichkeiten f ehlender Betriebszustinde bei 
technischen und biologischen Systemen unter Verwendung von Hnzelereigniswahrscheinlichkeiten bekannt 
Dort werden die Wahrscheinlichkeiten fehlerhafter Betriebszustande eines technischen oder biologischen Sy- 

25 stems dadurch ermittelt, daB ein aOgemeiner Interpolationssatz fur die Konstitution einer Vielzahl von Interpo- 
lationsformeln fur Wahrscheinlichkeiten einer dort angegebenen bestimmten Form angegeben wird Aus der 
deutschen Offenlegungsschrift DE 42 41 812 Al ist ein Verfahren zur adaptiven Quantisierung eines Eingangs- 
wertebereiches bekannt Zur adaptiven Quantisierung eines Eingangswertebereiches von Eingangswerten eines 
Rechners wird dort die Anwendungen eines Histogrammdichteschatzverfahrens vorgeschlagen. Dabei werden 

30 die Eingangswerte eingelesen und einer Quantisierung des Eingangswertebereiches zugeordnet» wonach aus der 
Verteiiung der Eingangswerte eine Dichteschatzwertfunktion errechnet wird welche in eine monoton steigende 
AbbQdungsfunkdon transformiert wird 

Andere Moglichkeiten der Aufbereitung von EingangsgrdBen sind derzeit aus dem Stand der Technik nicht 
bekannt 

35 ' Die der Erfindung zugrundeiiegende Aufgabe besteht darin, ein Verfahren anzugeben, mit dem die QualitSt 
von zeitlich nacheinander anf allenden Eingangsgr&Ben eines neuronalen Netzes verbessert werden kann. Insbe- 
sondere soUen durch das er^ndungsgemiBe Verfahren fehlende und verrauschte Daten erginzt werden. 
Diese Aufgabe wird gemlB den Merkmalen des Patentanspnichs 1 geldst 
Weiterbildungen der Erfindung ergeben sich aus den abhangigen Anspruchen. 

40 Ein besonderer Vorteil des erfindungsgem^Ben Verfahrens besteht darin, daB ausgenutzt wird daB die 
fehienden Werte oder die verrauschten Werte» wetehe den neuronalen Netz zugefOhrt werden soUen, Bestand- 
teil einer Abf olge von Werten in der Zehreihe sind Vorteilhaft kann die bekannte Fehlerverteilungswahrschein- 
lichkeit der restlichen Werte dazu benutzt werden, um fur den fehienden Wert nach dem erfindungsgemaBen 
Verfahren eine erwartete Fehierverteilung und damit den erwarteten Wert berechnen zu kdnnen. 

45 Giinstigerweise kdnnen nach dem erfindungsgem^Ben Verfahren auch fehlende Werte; die in der Zeitreihe 
benachbart sind bestinunt werden. DafQr ist ein iterativer Vorgang vorgesehen» der einmai den einen Wert 
berechnet und danach den anderen mit den aus dem einen Wert gewonnenen Daten ermittelt GQnsdgerweise 
kann dieser Iterationsvorgang auch mehrf ach durchgef uhrt werden, damit eine hinreichende Genauigkeit der zu 
bestimmenden Werte gewahrleistet ist 

50 Besonders kann nach dem erfindungsgem^en Verfahren auch ein neuronales Netz trainiert werden^ welches 
die Zeitreihe nachbilden soil, da dabei vorteilhaft die Lemschrittwette auf die Zahl der gezogenen Monte Carl 
Proben bezogen wird 

GOnstigerweise wird fOr das Fehlerverhalten der vorhergesagten Werte der Zeitreihe eine GauBverteilung 
angenommen, oder festgelegt da dies eine Verteiiung ist, welche praxisnahen Werten weitestgehend entspricht 
55 Vorteilhaft werden einfache numerische Verfahren beim erfindungsgemaBen Verfahren eingesetzt, um feh- 
lende Werte bestinmien zu kdnnen bzw. um einen kunftigen Wert in der Zeitreihe mit fehienden Werten 
vorhersagen zu kdnnen. 

Vorteilhaft werden nach dem erfindungsgemaOen Verfahren einfache mathematische Methoden angegeben, 
um MeBwerte entsprechend aufbereiten zu kdnnen und damit das neuronale Netz trainieren zu kdnnen. 
60 Besonders vorteilhaft werden Methoden angegeben, um verrauschte MeBwerte aufzubereiten, bzw. um 
MeBwerte aufzubereiten, welche eine bekannte und eine unbekannte Rauschkomponente enthalten, um damit 
das neuronale Netz auf einfache Weise und ef f izient trainieren zu kdnnen. 
Im folgenden wird die Erfmdung anhand v n Figuren weiter eriautert 
Fig, 1 zeigt ein Z itreihe, 
65 Fig. 2 zeigt eine Zeitreihe und ein Systemverhalten, 

Fig. 3 zeigt in neuronales Netz welches traini rtwird 

Fig. 1 zeigt eine Zeitreihe von MeBwerten, welche beispielsweise einem neuronalen Netz zugefuhrt werden 
kdnnen. Gem^B ihrer zeitlicheh Abfolge werden diese MeBwerte beispielsweise von einem technischen System 
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einzelnea KSstdien ^^J^J^J^^^^'^ ffcJft We to Markov blanket rdevanten Werte. ab 
wild in Fig. I dav Tyt_3. y,-, und yv En solch fehlender MeBwert in 

also nach dem ^^fi^S^S^^^'y^^^^^^^^r^^kn Netz NN. Es ist zo erkennen. daB y einc 
Fig 2 «igt Zeitre^e » ^^^^SS??^ tSShen Systenis rcprSscntiert Wie 

zeitabhingige Variable darsteUt, ''^If * f^^^^rj;;"^ dem Systemveriauf SY entnommen 

ne,^?ale^^S^NflbeimBetrie^^^^ 

M ist seine WahrscheinLchkeitsdichte s "^^^^^^^^^r^^^M^^eUrngs^h^ der flbrigen 
dem erfindun^gemfijen Verf«A«n 

MeBwerte rockgerechnet werien-InsbesonderewOToaDei Fehler der benachbarten und 

beschreibea: 

yt = f(yt-uyt-i-...yt-N) + €t 0) 

Dabei ist f entweder bekannt oder wird "^jf^nd^du^ f'o^Sr"'?^^^^^ 
einen additlven unkorrefierten Fehl^ ^ i^fS^itf ^t^S^eSe wXS^ Ps (e) auf 

erfindungsgemiBe Verf ahren cssentieU e^^^elaMte odw to^^^^ v 
und SnnbOdBcht typisA«we«e ^e^^ 

r.:rtSSe?r^SS;s^"^25!i£i;^^^ 

he wie folgt beschreiben. 

p(yt|yt-uyt-i. ..yt-N)-P.(y-(yt-i.y«-a'- -y*-")) (2) ,5 

"^^t^fS^^^^f.^d^r^^^^n ist die GauBverteUung. Mit einer solchen angenommenen 

P(yt|y.-i.yt-i ...yt-N)-G(yt:»(yt-» yt-N).«j^ O) 

n,rin hedeutet G fe- c. on die Notation fOr eine normale Dichte, die bei x bestimmt wird mit einem Zenttum C 
Dann ^ejutet G (x^o^^aie aus. daB das zu beschreibende System in Form emer Folge von Wcrten 

keitsdichte der Zeitreihe wie folgt beschreiben: ^ 

t 

beschrieben werden: 

E(yt|M,_.)- ff(yt-i yt-k.....yt-N)P(y°|y°)dy" (5) 
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Fig. 2 sind die direkten Naclifahren yt . . . yt_k+ 1. Die direktea V rfahren sind: 
yt_k-t...yt-k-N 
5 und die direkten Btern des Nachfolgers der Variablen sind: 
yt-i...yi-k-N-t-. 
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i"!^*?!**'^™ Grundlagen ist befaumt. daB eine Variable unabhSngig von einer anderen Variablen 

Si^'S^.w^'n"?*'^*™ ?f -^^f? 'J^f ^"'.^ blank^Tblkannt sind. Deshalb wSd 

bendtigte bedingte Dichte aus Gleichung (5) wie folgt bestinunt: 

P(y"|y») « P(y.-i |y,-i...,yt-,_N) 

X P(yt-2|yt-3,..-,yt-k,...,yt-2-N)...P(yt-k|yt-k- ,yt-k-N) (5bX 

Der hier beschriebene FaU eines fehlenden MeBwertes kann auch ohne Beschrankung der Erfindune auf 
mehrere nebenemMderhegende fehlende MeBwerte ausgedehnt werden. Fafls dies der ist, muB Siek- 

Vorf ahren besttnunt werden und nut diesem bestinunten Wert dann der weitere Wert emuttelt werden. Dies 
20 ««>nnsolangeh.n-undhergehenbiseinehinreichendeGenauigkdterreichtwird.R^^^ ^ 

y» £ {yt-i.yt-2.. ...yt-^ (5c) 

^ FQralIefehIendenWertederZeitreihezwischendemZeitpunktt-1 undt-N,wobei weiterhingilt: 
y°£{yt-i,y»-a....,yi} (5d)t 

welche die Zahl ailer MeBwerte bis zum Zeitpunkt t- 1 reprSsentiert Auch gilt 
30 P(y»|y")oP(y,-, yay,) (5eX 

r™ni5h^''*?'?-'u " H":J? W ""-halte" wird. Im aUgemeinen sind diese Integrale in den 

voranstehenden Gleichungen fur die Funktion ^ falls dies eine nichtlineare Funktion ist, nicht anJSsch Ssbar 

STt^S. fan*^:^r''' ^""^ ' ^'''""^ "^"^ "^^'^ iSSe^i^g 

w.S£.f T^R^V Reprasentationen eines neuronalen Netzes NNI und NN2. Zum einen kann dies so aufgefaBt 
u^ t^-^ Ti ^™ t"!?" Zeitpunkt voriiegt und NN2 zu einem anderen Zeitpunkt. es kann skdi ISS 
um zwei komplett verschiedene neuronale Netze handeln. Es sind zwei DatenleltiSigen dSg^Ut mitweteten 
fHa^S^f 1 Netze tommunizieren kSnnen. im FaUe einer Identitat der beiden NeS?S StTdS 
NNi^lSfn f^'^J^ Austouschvorgange gemeint NN2 gibt Daten uber die Datenstrecke 100 an NNI weS 
^ ''l?'"*^ d'e Datenstrecke 150 an NN2 weiter. Die einzehien Werte der Zeitreihe^welche in^^ 1 
™dFig.2Au^esteUtsmd. sind der Einfachheithalber hier m 

weiterhindieVoraussetzungfflrdieanderenFigurengelten. «^«.izuoeacnien,aaiJje<locto 
Bom Traimng des hfctzes mit fehlenden Daten gelten beispielsweise folgende ZusammenhSnge: FQr den Fall 

hf * vA^^Sl^l'Sn^T ^ ' ^^11''° y" 2 (y ^Ue MeBwerte bezei^hnen mSy^^ 

{yi, ... , ytf \ y" alle unbekannten Werte bezeichnen. Das neuronale Netz, welches die Funktion f modeHiert 
werde beispielsweise mit einemSatz von GewichtenwparametrisiertDaimgflt: ""^'^ ^ modeHiert, 

'(yt-i yt-N) « NNw(yt-i....,yt-N) 
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«?L*^'^™*f BeschrSnkungder Erfindung jedoch auchein anderer bekannter parametrisierbarer Funktions- 
S »riaS^! °" •°«"^*^^»^« Wahrscheinlfchkeitsfunktio^n. auchTg uSoS'S. 

55 L - log / P»«(yty,_, y2.y,)dy" 

wobei dann die gemeinsame Wahrscheinlichkeitsdichte sichzu 

P"(y..y.-,.....y,.y.)=P«(y„ y»)IlP"(y.|y„._y,_„) (6, 

« St^ gS^" '^'^ neuronale Netz folgender Zusammenhang fur die Berechnung der Fehlerverteflungs- 

P"(y'|yt-i.yt-2.....yt-N)-P,(y,-NNw(y,-i.y,-2.....yt-k) (7) 
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For das Lernen mh Hilf e von Backpropagatioii, oder anderer gradientenbasierter LemalgorithmeQ wird nun 
nochder Gradient derl garithmischenWahnchelnlicfakeitsfunkd nbenddgt^wddiersidizu: 

ergibL Es ist anzumericen, daB hierbei von bdcannten Ausgangsbedingungen fOr yi, . . . » yN ausgegangen wird. 
FOr den Fall, daB cine GauBverteitung fOr die Fdilerverteflung vorliegt ergibt sich daraus: lo 

^- t J(y, -WN.(y».-y».)) ^-^"--''^V (y° I (8a) 

wobet - y** n (yu - . • yi-n} die fehlenden Werte fOr die Ein^oge des Nctzwcrices darstcllen und (8a) zeigt, 
daB falls alle yi . . . yi -n bekannt sind, das Integral verschwindet 

Falls die Mefiwerte von dnem zusitzlicben Rauschen Qberlagert werden ergeben sich die folgenden Zusam- 
menhinge. Beispielsweise gflt wieder: 20 

yt - ?yt-i.yt-2.... jt-N) + et 

In dieser Variante der Erfindung soQ jedodi kein direkter Zogriff auf yt bestehec Anstatt dessen wird die 
Zeitreihe 25 

zt = yt + 6t 

gemessen. Darin bedeutet 5t ein unabhangiges Rauschen mit Mittelwert Null Unter der Voraussetzung» daB z = 
{zi...zt-2}undy « {yi...yjgeiten, ergibt sich die Gesamtwahrschetnlichkeits<£chtezu: 30 

P(y, z) = P(yN.....yi) riP(y.iyi-i.-.yi-K)riP(ziiyi) < 

damit i§Bt sich die Rechenvorschrift ffir den erwarteten nichsten Wert der Zeitreihe angeben 
E(ytlz « Jf(yt-i,....yt-N)Ptyt-t yt-N|z)dyt-i...dyt-N (9) 

40 

Ebenso kann der Gradient der Wahrscheinlichkeitsfunktion fur das Training berechnet werden. FOr den Fall, 
daB eine GauBverteilung des Rauschens mit 



2 «{Zi...Zt} 

voriiegty ergibt sich: 



45 



5*"(yi ym«z)dyi-dy»^ Oa) 

Dem neuronalen Netz werden bei einer Variante des erfmdungsgemlBen Verfahrens beispielsweise Werte 55 
zugefQhrt, die verrauscht oder nicht genau bestimmbar sind. Durch die Approximation der Gewichte im 
neuronalen Netz werden dabei fiber die Funktion t welche dabei durch das neuronale Netz nachgebOdet wird, 
neue Werte der Zeitreihe bestimmbar. Diese neuen Werte der Zeitreihe werden tm AnschluB Gber die Daten- 
strecke 150 dem weiteren neuronalen Netz NN2 zugefOhrt, welches daraus wiederum durch Nachbikhmg der 
Funktion f neue Werte der Zeitreihe bestimmt Dieser iterative Vorgang wird solange fortgesetzt, bis eine go 
hinreichende Genauigkeit der zu bestimmenden Werte erreicht wird. 

Zur genauen Bestimmung fehlender Werte mit Hilfe der Monte Carlo Methode wird von folgenden Grundla- 
gen ausgegangen. £s ist hier zu beachten, daB alle Ldsungen die Form 

Jh(u4n)P(u|m)du (9b) 65 

aufweisen, wobei u den Satz von unbekannten Variablen und m den Satz von bekannten Variablen bedeutet. Ein 
Integral dieser Form kann beispielsweise geldst werden, indem Zufallsproben der unbekannten Variablen 
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gem^ P(u I m) gez gen werdeiL Beispielsweis werden diese Proben mit u\ . , bezeichnet Daraus ergibt 
sich folgender Zusammenhang fOr die Ann&hening: 

' J h(u;m)P(ulm)du ^^Ku\m) . (9c) 

Es ist zu beachten» daB in dieser Gleichung u den Wert yt-b welcher fehlt, entspricht Mit dteser erfindungsge- 
10 mSBen L5sung reduziert sich das Problem also darauf* aus P(u | m) Probra zu Ziehen. FQr den Fall, daB ledigUch 
eine Variable fehlt, reduziert sich das Problem also auf das Probenziehen aus einer einvariablen Verteilung, 
welche mit Hilfe des ''samplingimportance-resampling* oder anderen sampIing-Techniken [1] getan werden 
kann. 

FQr den Fall, daB mehr als ein MeBwert fehlt, wird die Situation etwas komplizierter. Der Grund besteht darin, 

15 daB die unbekannten Variablen in der Regel voneinander abhangen und daB von der Verteilung aller unbekann- 
ten Variablen gezogen werden muB. Eine allgemeine Ldsung dafOr gibt das Gibbs-Sampling [1] an. Beim 
Gibbs-Sampling werden die unbekannten Variablen mit Zufallswerten, oder besser mit geschltzten Ausgangs- 
werten inidalisiert, welche beispielsweise aus den benachbarten Werten der fehlenden Werte abgeleitet werden 
kdnnen. Im AnschluB wird dne der unbekannten Variablen Ut ausgewihlt und eine Probe von P(ui|m,u\ui) 

20 gezogen; dann wird Ut auf diesen Wert gesetzt Im AnschluB wird die Prozedur fOr die n§chste unbekannte 
Variable wiederholt usw. Abgesehen von beispielsweise den ersten Proben werden die Proben vorzugsweise mit 
der korrekten Fehlerverteilungsdichte gezogen. Dies bedeutet jedoch, daB fur alle Unbekannten, die jemals in 
der Zeitreihe auftraten, Proben gezogen werden mtissen. In der Praxis kann aber beispielsweise das Zeitfenster 
aus dem Proben gezogen werden auf eine vemtmftige GroBe beschr^nkt werden. Beispielsweise kann diese 

25 GroBe der GrdBe des Markov blankets fur die fehlenden Werte entsprechen. Hierbei ist zu beachten, dafi fur den 
Fall daB zwischen zwei fehlenden Werten N aufeinanderfolgende Werte bekannt sind, die Kopplung zwischen 
den Unbekannten aufbricht und daB weitere Werte der Zeitreihe deshalb nicht berucksichtigt werden mOssen. 

Das Probenziehen fur zukflnftige Werte ist nach dem erfindungsgemlBen Verfahren besonders einfach. Es ist 
jedoch zu beachten, daB es so nicht fih* deterministische Systeme funktioniert Durch die erfindungsgemSLBe 

30 Vorgehensweise wird eine besonders einfache L5sung fOr diese besonders kompliziert erscheinenden Sachver- 
halte gefunden. FQr die Vorhersage der Werte der Zeitreihe werden die nach der entsprechenden Verteilung 
gezogenen Werte substituiert und die Prognosen davon gemittelt, welches nach dem erfindungsgemaBen 
Verfahren den fehlenden Wert ergibt Beim Training des Netzes wird beispielsweise der Durchschnitt der 
Fehlergradienten gebildet, indem zu deren Beredmung die Werte der Zeitreihe verwendet werden, welche mit 

35 den Proben bestimmt wurden. Beim Ziehen der Proben nach der Monte-Carlo-Methode kann beispielsweise wie 
folgt vorgegangen werden. 

Es sollen beispielsweise K-Schritte in der Zukunft der Zeitreihe vorhergesagt werden. Im Zusammenhang mit 
dem oben besprochenen Gleichungen bedeutet dies, daB die Werte yt-i, > yt-K+i fehlen, und daB unter 
diesen Voraussetzungen yt vorhergesagt werden solL Unter diesen Voraussetzungen ist die Monte Carlo 
40 Methode sehr einf ach. Zun&chst muB beispielsweise von der Verteilung P (yt - k + 1 1 yc- fc* • • • > yc - k-n) eine Probe 
gezogen werden. Diese Probe wird mit yt-ic+i' bezeichnet Mit dieser Probe und den vorangegangenen 
Messungen wird beispielsweise eine weitere Probe yt-K+2 aus der Vertdlung P(yt-K+2 | Yt-K+i*, , 
yt-K-f i-N usw. bis jede Probe fur jede Unbekannte erzeugt wurde. Wenn man diese Prozedur S-mal wiederholt, 
so erhalt man 

45 

E(y,,M^i) = ^i;f(y»^j,y;.,,_Or^j,) {9d) 

50 

Die experimentellen Befunde haben gezeigt, daB das erfindungsgemaBe Verfahren selbst bet wenigen Proben 
vie! besser arbeitet als die bisher verwendeten numerischen Ldsungsverfahren. 
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Pat ntanspruche 

65 1. Verfahren zur Aufbereitung einer EingangsgrdBe eines neuronalen Netzes mit folgenden Merkmal n: 

a) es wird eine Zeitreihe aus einer Menge von M Bwert n der variablen EingangsgrdB gebildet, indem 
die EingangsgrdBe zu diskreten Zeitpunkten bestimmt wird; 

b) von einem den McBwerten uberlagerten unkorrelierten Rauschen ndlicher Varianz, das im zeidi- 
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Chen Kfittel Null ist. wird die statistisdie Rauschverteilung ermittdt und/oder vorgegeben; 
d ein fehiender MeBwert fat der Zehreihe wild als Fehlwert aufbemtet. mdem mmdestois aas mem 
dem FeUwert in der Zeitreihc benachbarten MeBwert nach der bekaiint« stotetochen Rauscfayw^^ 
hmz dessen statistische Fehlwert-Rauschverteihuig berechnet wird und der Fdlwcrt teredinet wud. 
ffim^^derFehlwert-RauschvertdlungmiiuiestensrwdMonte^i^ 5 

Z vS?n S^SlX^d^ wS^ender ^ert in der ^^^l^I^^^^ 
bestimmt wird. indem ftr den Fehlwert mehrere Monte^o-Proben g«ogen and derm Frognosevrerte 
ESSt J^M. and der Prugnosewert ak arithmetrisches Mittel aus aDen flber die Pioben bestimmten 

r^SSrSdTSlSSr^eribddcmvonzweifeWenden^^^^ 

ten der Zcitreihe zunichst der Eiste aufbereitet wild und im AnschhiB daran unter Zuhilfenahme des zuerst 

aufbereiteten der Zwdtebestinunt wird . ,„ . . ,, 

4 VerfahrennacheinemderAnsprii(Aelte3,weldiesmehrfachausgefuhrtwird. ^ . ^ ^. 

s! Verfahren nach einem der AnsprQche 1 bis 4. bei dem das neuronale Netz anhand der Ze.treihe nut dem is 

dutch diese reprasentierten Verhalten eines technischen Systems trainiert wird. wobei bei cinem Lemschntt 

bei der Backpropagation die Lemschrittweite fOr die auf I oormierten EmgangsgreBen des neuronalen 

NetzeszuOildividiertdurtAdieAnzahldergezogenenMonte^Iarlo-Probenfestgelegtwmt ^ „ 

6. Verfahren nach emem der Ansprilche 1 bis 5. bei dem ab stotistische Rauschvertedung erne GanBvertei- 

lungverwendetwifd. ~ . ^ j i- 

7. Verfahren nach einem der AnsprQche 1 bis 6 mit euier Zettreihe der Form: 

y, = f(y,_i.yt-i. ...yt-N) + et (la) 

mit:Et:sUtistischeRauschverteihmg 
y: MeBwerte derZeitreihe 

vt: vom neuronalen Netzvorherzusagcnder Fehlwert 

bei der die Funktion f bekannt ist oder durch das neuronale Netz modelliert wnd und die sUtistische 
Fehlerverteilungsdichtezu: ^ 

Pe(yt-i - f(y.-i.yt-2.....yt-N)) = P(y*-Myt-i.yt-2,...,ye-N) (2a) 

bestimmt wird woraus die Monte-Cario-Proben y,-k' yt-k» gezogen werden und sich ein erwarteter 

vom neuronalen Netz voriierzusagender Fehlwert mit den gezogenen Proben zu: 



E(y..^.m)=-^Sf(y.-ic*.m). (3a) 



35 



40 



ergibt 

mit: yt-kfehlender MeBwert in der Zcitreihe k < N 
m: allc bekannten MeBwerte der Zeitreihe 

S: AnzaW der ProbeiL , ^, ... 

8. Verfahren nach einem der Anspruche 5 bis 7, bei dem das neuronale Netz mit mmdestens emem 45 

aufbereiteten Wert nach folgender Lemfunktion trainiert wird: 



mit: w: Neuronengewichtung 

L: logarithmische Wahrscheinlichkeitsfunktion 

i^iLemfaktor ^ 
wobei gilt: 

mit: NNwtWerte der Funktion aus dem neuronalen Netz ^ ^ . j 

wobei fOr yi* MeBwerte der Zcitreihe Verwendung finden und faOs ein Wert mcht vorhanden ist aus der 
Wahrsdieinlichkeitsvcrteilungsdichte: ^ 

pM(yl|ym) 
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Monte-Carlo-Probengez gen werden mit: 
m: alle bekannten MeBwerte der Zeitreihe. 

9. Verfahren nach Anspruch 6, bei dem das neuronale Netz mit mindestens einem aufbereiteten Wert nach 
folgender Lernfunktion trainiert wird: 



wobeigOt: 



mit: NNw: Werte der Funkdon aus dem neuronalen Netz wobei f flr yi* MeBwerte der Zeitreihe Verwendung 
finden und, falls ein Wert nicht vorhanden ist aus der Wahrscheinlichkeitsvertetiungsdichte: 

pM^lym) 

Monte-Carlo-Proben gezogen werden mit: 
ra: alle bekannten MeBwerte der Zeitreihe. 

10, Verfahren nach Anspruch 7, bei dem die stadstische Rauschverteilung der MeBwerte nicht belcannt ist 
und die MeBwerte von einem weiteren Rauschen aberlagert werden, dessen stadstische Rauschverteilung 
bekannt ist, oder vorgegeben wird, mit einer Zeitreihe der Form: 

zt - yt + 5 « fl(yt-uyt-i...,yt-N) + et (la») 

mit: et: unbekannte statistische Rauschverteilung 

&t: bekannte statistische Rauschverteilung « 
y : MeBwerte der Zeitreihe 

yt: vom neuronalen Netz vorherzusagender Fehlwert 
bei der die stadstische Fehlerverteiiungsdichte zu: 

P6(yt-i,yt-2.....yt-N))«P(y*|yt-i,yt-2,.-.,yt-N) (2a*) 

bestimmt wird und die Gesamtwahrscheinlichkeitsdichte uber die Zeitreihe mit: 

P(y.2)=p(yi,-..,y„)nP(yi«yi-i--yi-N)nP(Zi«yi) oa*) 

bestimmt wird, so daB sich ein erwarteter vom neuronalen Netz vorherzusagender Fehlwert aus mindestens 
einem aufbereiteten Wert zu: 

E (yt I z) = J f(yt- 1, . , . , yt-N) P (yt- 1, . . . , yt-N I z)) dyt- b . . . , dyt-N (4») 

ergibt, wobei fur 

P(yt-i,-.-,yt-N|z) 

entsprechend Monte-Carlo-Proben gezogen werden. 

11. Verfahren nach den Anspruchen 10 und 6, bei dem das neuronale Netz mit folgender Lemregel trainiert 
wird: 



dL 

mit: w: Neuronengewichtung 

L:loganthmischeWahrscheinlichkeitsfunku n 

ti:Lemfaktor 

und 
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2EICHNUNGEN SHTE 2 Num^W OB tSS 30 847 CI 

lnt.CI.«: OOSF 17/18 

Verdffentliehungstas: 23. Januar 1997 
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